Sau khi tốt nghiệp trường Harvard với tấm bằng về toán học và kinh tế, Ballmer làm việc hai năm ở công ty Procter & Gamble với vị trí trợ lý giám đốc sản phẩm trước khi ghi tên vào trường Đại học Kinh doanh Stanford để lấy tấm bằng Thạc sĩ Quản trị Kinh doanh. Ông bỏ học ở Stanford một năm sau đó khi Bill Gates thuyết phục ông làm việc ở Microsoft. Ballmer trở thành nhân viên thứ 24 của Microsoft vào tháng 6 năm 1980, giám đốc kinh doanh đầu tiên Gates mướn. Thoạt đầu ông được đề nghị mức lương $50.000 cùng với một tỷ lệ sở hữu trong công ty. Khi Microsoft trở thành tập đoàn năm 1981, Ballmer đã sở hữu 8% công ty.

Ballmer từng là trưởng một số bộ phận ở Microsoft, bao gồm Bộ phận Phát triển Hệ điều hành, Bộ phận Điều hành, và Bộ phận Bán hàng và Hỗ trợ. Tháng 7 năm 1998, ông được đề bạt làm chủ tịch, và ngày 13 tháng 1 năm 2000, ông trở thành giám đốc điều hành khi Gates rời bỏ chức vụ đó.

Trong khi Gates vẫn duy trì việc quản lý phần công nghệ, Ballmer chịu trách nhiệm tài chính cho công ty. Năm 2003, Ballmer bán 8,3% cổ phần, chỉ để lại 4% khoản góp vốn trong công ty. Cũng năm đó, Ballmer thay đổi chương trình bán cổ phiếu cho nhân viên, chương trình đã tạo ra những triệu phú nhân viên, bằng chương trình trợ cấp cổ phiếu (stock grant program).[4]

Hiện nay, Ballmer là nhân viên phục vụ lâu nhất trong Microsoft chỉ sau Gates. Ballmer đã kết hôn với Connie Snyder (cũng là nhân viên Microsoft) và có ba con.